生产可运维的云原生本地存储系统 HwameiStor 入选 CNCF 全景图
近日,CNCF(云原生计算基金会)[1] 发布了最新版的云原生全景图[2]。「DaoCloud 道客」自主开源的云原生本地存储系统 HwameiStor,被收录在 CNCF 云原生全景图中的 RunTime (运行时)层的 Cloud Native Storage(云原生存储)象限,成为 CNCF 推荐的云原生本地存储项目。
图片节选自云原生全景图:https://landscape.cncf.io
HwameiStor
云原生本地存储系统
云原生时代来临,越来越多业务系统采用云原生架构。作为承载业务稳定运行的核心组件,存储系统面临着新的挑战。首先是易用性方面,传统存储服务部署、运维复杂,且云原生化程度低,无法与主流云原生编排平台整合。其二是性能方面,云原生场景下,传统存储无法满足大量应用访问的需求,导致存储性能成为应用运行效率的瓶颈。其三是高可用方面,已经在生产环境应用的云原生存储系统,需要保障高可靠/高可用性,不能出现单点故障。其四是敏捷性方面,容器是随时可以销毁和生成的,因此容器数据的持久化必不可少,持久卷 PV(Persistent Volume)快速创建、销毁、平滑扩展/收缩以及随 Pod 迁移而快速迁移等能力亟需提升。
HwameiStor 正是具有生产可运维、快速部署、高性能、高可用、低成本等优势特性的 Kubernetes 原生本地存储系统。HwameiStor 将 HDD、SSD 和 NVMe 磁盘形成本地存储资源池进行统一管理,通过标准 CSI 接口,提供分布式的本地数据卷服务,为有状态的云原生应用或组件,提供数据持久化能力,可以替代昂贵的传统存储区域网络 Storage Area Network (SAN)。
HwameiStor 提供了四种类型的本地数据卷:1)基于 LVM 的单副本本地数据卷,可以适配 Kafka、ElasticSearch、Redis 等高可用架构中间件,满足对数据访问的高要求;2)基于 LVM 的双副本的高可用数据卷,可以满足MySQL 等 OLTP 数据库对数据存储高可用、数据访问高性能的要求;3)基于 LVM 的类型可变的本地数据卷,可以将单副本的数据卷转变为双副本的高可用数据卷,满足应用数据随着安全级别提升,随之提升数据卷的可靠性要求;4)基于裸磁盘的数据卷,满足应用直接使用本地磁盘,例如 MinIO、Ceph 等分布式系统。应用可以根据自身需求,通过 CSI 驱动自动化地使用 HwameiStor 的本地卷,快速响应业务系统提出的部署、扩容、迁移等需求,实现基于 K8s 的自动化运维。
HwameiStor 的核心在于自定义资源 CRD 的定义及实现,在 K8s 已有 PersistentVolume (PV) 和 PersistentVolumeClaim (PVC) 对象类之上,Hwameistor 定义了更丰富的对象类,把 PV/PVC 和本地数据盘关联起来,帮助用户获得一致性的使用体验,也便于用户查看 HwameiStor 的系统资源状况。
近期,HwameiStor 发布了几个重大更新。新增数据卷迁移和驱逐的重要功能,保障 HwameiStor 在生产环境中持续正常运行。当 Kubernetes 系统节点 由于各种原因需要进行维护或者下线时,节点上的资源需要先给释放和驱逐,HwameiStor 会自动及时响应这个运维操作,主动将位于该节点上的数据卷副本迁移到其他节点上,一方面保证应用数据不会丢失和损坏,另一方面,被驱逐的应用 Pod 可以很快在其他节点上恢复并访问已有数据,保证了业务的连续性。此外,运维人员也可以主动迁移数据卷,从而平衡系统资源,保证系统平稳运行。同时,在高可用方面,HwameiStor 新增适配了更多种类的操作系统,包括 CentOS、Ubuntu、麒麟、ARM 等操作系统。
接下来,HwameiStor 将主要聚焦以下四个方面。一、可观测性,让运维人员更好地了解系统在过去、现在以及将来发生的事情,使运维工作更便捷轻松。二、数据卷的快照,将任意时间点的数据进行拷贝,提供在线数据备份与恢复,进一步提高数据的安全性和可靠性,提升数据的灾备能力。三、磁盘的生命周期管理,包括健康管理,通过磁盘当前健康数据,及时发现磁盘异常并告警;此外,根据磁盘的历史健康数据,预测磁盘的问题故障,通过提前干预,保证数据的可靠性和可用性。四、HwameiStor Operator,通过 Operator 实现对 HwameiStor 的全生命周期管理和运维,进一步提升系统的易用性。
同时,HwameiStor 是「DaoCloud 道客」新一代云原生操作系统--「云原生应用云平台 DaoCloud Enterprise 5.0 (DCE 5.0)」中的重要存储组件。目前,也有一些客户(例如:银行、汽车等行业客户)已经在其生产环境中使用 HwameiStor 支持中间件的应用。在 GitHub 上, HwameiStor 广受好评,已经收获了 346 颗星星,拥有 13 位常驻的社区贡献者。欢迎广大开发者下载使用、参与讨论和社区贡献。
https://github.com/hwameistor/hwameistor
微信社区:
加入技术讨论群
参考资料:
[1] CNCF :全称 Cloud Native Computing Foundation (云原生计算基金会),隶属于 Linux 基金会,成立于 2015 年 12 月,是非营利性组织,致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术,普及云原生应用。
[2] 云原生全景图:由 CNCF 从 2016 年 12 月开始维护,汇总了社区成熟和使用范围较广、具有最佳实践的产品和方案,并加以分类,为企业构建云原生体系提供参考,在云生态研发、运维领域具有广泛影响力。
DaoCloud 公司简介
「DaoCloud 道客」云原生领域的创新领导者,成立于 2014 年底,拥有自主知识产权的核心技术,致力于打造开放的云操作系统为企业数字化转型赋能。产品能力覆盖云原生应用的开发、交付、运维全生命周期,并提供公有云、私有云和混合云等多种交付方式。成立迄今,公司已在金融科技、先进制造、智能汽车、零售网点、城市大脑等多个领域深耕,标杆客户包括交通银行、浦发银行、上汽集团、东风汽车、海尔集团、屈臣氏、金拱门(麦当劳)等。目前,公司已完成了 D 轮超亿元融资,被誉为科技领域准独角兽企业。公司在北京、南京、武汉、深圳、成都设立多家分公司及合资公司,总员工人数超过 400 人,是上海市高新技术企业、上海市“科技小巨人”企业和上海市“专精特新”企业,并入选了科创板培育企业名单。网址:www.daocloud.io
邮件:info@daocloud.io
电话:400 002 6898